Het kasteel van Wippelgem duikt voor het eerst op in de geschiedenisboeken rond 1375 onder zijn oorspronkelijke naam ‘Ten Hulle’. Het domein was toen in handen van Sander Cante, een Gentse patriciër.
In de loop der jaren kreeg het kasteel verschillende eigenaars en onderging het diverse renovaties.
In de eerste helft van de 19de eeuw werd het kasteel eigendom van Joseph Sébastien Della Faille d’Assenede, burgemeester van Gent van 1804 tot 1808. Nadat het kasteel verwoest werd door een hevige brand werd rond 1892 volledig heropgebouwd in neoclassicistische stijl en kreeg het zijn huidige vorm, het valt vooral op door zijn adembenemende architectuur en witte kleur.
In 1909 werd de familie de Crombrugghe de Looringhe eigenaar van het kasteel. Bij het overlijden van barones Josine de Crombrugghe de Looringhe, in 1986, kwam het domein in beheer van N.V. Ten Bosch, die het kasteel uitbaatte als restaurant. Eind 2008 koopt het gemeentebestuur het domein, het park wordt toegankelijk voor publiek, in het kasteel worden huwelijken voltrokken.